Composer+dbtでSAの権限借用（impersonate）を使ってみる

kobayashi.m

2024.07.31

 はじめにデータアナリティクス事業本部のkobayashiです。
dbt（dbt core）を Cloud Composer 上で動かしているデータパイプラインがあり、dbt では BigQuery の操作をしている DAG がある場合、Cloud Composer に設定してあるサービスアカウントで直接 BigQuery を操作するのではなく、別の BigQuery 操作用のサービスアカウントを使う方法をまとめます。
Bigquery Service Account Impersonation | dbt Developer Hub
サービス アカウントの権限借用の管理  |  IAM のドキュメント  |  Google Cloud
 サービス アカウントの権限借用(Impersonate)今回のように別のサービスアカウントから別のサービスアカウントになりすましてリソースの操作を行う場合には「サービスアカウントの権限借用」を使うことで実現が可能です。これは
スクリプトやプログラムが特定のサービスアカウントの権限を借用し、必要なリソースにアクセスして処理を自動化する。（作業の自動化）
システム管理者が個別ユーザーに直接権限を付与するのではなく、サービスアカウントを通じてアクセスを制御する。（権限管理の簡素化）

特定のサービスアカウントに限られた権限を与え、権限の濫用を防ぐ。（セキュリティの向上）
といった場合に使うのが一般的で、今回の用途としてもBigQueryを操作するのは専用のサービスアカウントを用意しておいてComposerにはそのサービスアカウントをアタッチしないといったパターンでも活用できます。
 Cloud Composer+dbtで権限借用を設定するでは実際にCloud ComposerとdbtでBigQueryに対する操作で権限借用を設定してみます。設定方法はdbtの公式ページ（Bigquery Service Account Impersonation | dbt Developer Hub ）にあるのでこれに従って設定を行えば可能です。
設定は以下の流れで行います。
権限を借用するサービスアカウントに対して、Cloud Composerのサービスアカウントがトークン生成を行えるロールを付与する
dbtのprofile.ymlで接続情報を設定する
 トークン生成のロール付与権限を借用するサービスアカウントに対してadd-iam-policy-bindingを行います。借用するサービスアカウントのトークンを発行できるようにするためroles/iam.serviceAccountTokenCreatorロールを付与します。
$ gcloud iam service-accounts add-iam-policy-binding ｛BQを操作するサービスアカウント｝@{プロジェクト名}.iam.gserviceaccount.com --member="serviceAccount:{composerのサービスアカウント}@n{プロジェクト名}.iam.gserviceaccount.com" --role="roles/iam.serviceAccountTokenCreator" 
bindings:
- members:
  - serviceAccount:{composerのサービスアカウント}@n{プロジェクト名}.iam.gserviceaccount.com"
  role: roles/iam.serviceAccountTokenCreator
etag: BwYeXOpTbFk=
version: 1
 dbtのprofile設定次にdbtのprofile.ymlで権限を借用するプロファイルを設定します。認証はサービスアカウントの権限借用をするためmethod:oauthを設定したうえで、impersonate_service_accountに借用するサービスサービスアカウントを設定します。impersonate_service_accountを使用しないとcomposerのサービスアカウントがBigQueryの操作者になってしまうので注意が必要です。
my-profile:
  target: dev
  outputs:
    dev:
      type: bigquery
      method: oauth
      project: abc-123
      dataset: my_dataset
      impersonate_service_account: ｛BQを操作するサービスアカウント｝@{プロジェクト名}.iam.gserviceaccount.com
 まとめCloud Composer+dbtのデータパイプラインで、CLoud Composerに設定してあるサービスアカウントではなく別のBigQuery操作用のサービスアカウントで処理を行う方法をまとめました。特に難しい箇所もなく設定を行うことができました。
最後まで読んで頂いてありがとうございました。